有效的决策涉及将过去的经验和相关上下文信息与新型情况联系起来。在深入的强化学习中，主导范式是代理商摊销信息，通过训练损失的梯度下降来帮助决策进入其网络权重。在这里，我们采用了一种替代方法，其中代理可以利用大规模上下文敏感的数据库查找来支持其参数计算。这使代理商可以直接以端到端的方式学习，以利用相关信息来告知其输出。此外，代理可以通过简单地扩大检索数据集来了解新信息，而无需再进行重新培训。我们在GO中研究这种方法，这是一款具有挑战性的游戏，庞大的组合状态空间特权对与过去的体验进行了直接匹配。我们利用快速，大约最近的邻居技术来从数千万的专家示范状态中检索相关数据。参与此信息为简单地将这些示范作为训练轨迹而言，可以显着提高预测准确性和游戏性能，从而使大规模检索在加强学习剂中的价值提供了令人信服的演示。

It would be useful for machines to use computers as humans do so that they can aid us in everyday tasks. This is a setting in which there is also the potential to leverage large-scale expert demonstrations and human judgements of interactive behaviour, which are two ingredients that have driven much recent success in AI. Here we investigate the setting of computer control using keyboard and mouse, with goals specified via natural language. Instead of focusing on hand-designed curricula and specialized action spaces, we focus on developing a scalable method centered on reinforcement learning combined with behavioural priors informed by actual human-computer interactions. We achieve state-of-the-art and human-level mean performance across all tasks within the MiniWob++ benchmark, a challenging suite of computer control problems, and find strong evidence of cross-task transfer. These results demonstrate the usefulness of a unified human-agent interface when training machines to use computers. Altogether our results suggest a formula for achieving competency beyond MiniWob++ and towards controlling computers, in general, as a human would.

来自科幻小说的普通愿景是机器人将有一天居住在我们的物理空间中，感知世界，才能协助我们的物理劳动力，并通过自然语言与我们沟通。在这里，我们研究如何使用虚拟环境的简化设计如何与人类自然交互的人工代理。我们表明，与自我监督学习的模拟世界中的人类交互的模仿学习足以产生我们称之为MIA的多模式互动剂，这成功与非对抗人类互动75％的时间。我们进一步确定了提高性能的架构和算法技术，例如分层动作选择。完全，我们的结果表明，模仿多模态，实时人类行为可以提供具有丰富的行为的富含性的令人生意的和令人惊讶的有效手段，然后可以为特定目的进行微调，从而铺设基础用于培训互动机器人或数字助理的能力。可以在https://youtu.be/zfgrif7my找到MIA的行为的视频

A long-standing goal of machine-learning-based protein engineering is to accelerate the discovery of novel mutations that improve the function of a known protein. We introduce a sampling framework for evolving proteins in silico that supports mixing and matching a variety of unsupervised models, such as protein language models, and supervised models that predict protein function from sequence. By composing these models, we aim to improve our ability to evaluate unseen mutations and constrain search to regions of sequence space likely to contain functional proteins. Our framework achieves this without any model fine-tuning or re-training by constructing a product of experts distribution directly in discrete protein space. Instead of resorting to brute force search or random sampling, which is typical of classic directed evolution, we introduce a fast MCMC sampler that uses gradients to propose promising mutations. We conduct in silico directed evolution experiments on wide fitness landscapes and across a range of different pre-trained unsupervised models, including a 650M parameter protein language model. Our results demonstrate an ability to efficiently discover variants with high evolutionary likelihood as well as estimated activity multiple mutations away from a wild type protein, suggesting our sampler provides a practical and effective new paradigm for machine-learning-based protein engineering.

全球金融危机和共同衰退已重新讨论有关宏观经济数据中趋势周期发现的讨论，而Boosting最近将流行的HP过滤器升级为适合数据丰富和快速计算环境的现代机器学习设备。本文阐明了其在趋势周期测定中的多功能性，以简单的方式解释了HP滤波器平滑性和通过增强一般趋势检测而提供的一致性。应用于FRED数据库中的时间序列的宇宙，在及时捕获随后的危机和恢复局的衰退中提高其他方法的表现。凭借其广泛的适用性，增强的HP过滤器是宏观经济学工具包的有用的自动化机器学习。

由于Covid-19-19疫苗可用，因此没有研究量化不同的灾难疏散策略如何减轻避难所中的大流行风险。因此，我们应用了一个年龄结构化的流行病学模型，称为易感性暴露感染（SEIR）模型，以研究台湾不同的疫苗摄取水平以及在台湾实施的转移方案在多大程度上降低了感染和延迟流行峰值的情况。台湾的转移协议涉及转移因曝光而自我占用的人，从而阻止了他们与集体庇护所的普通公众融合。转移方案，结合足够的疫苗摄取，可以减少相对于没有这种策略的情况，相对于场景，感染的最大数量和延迟爆发。当所有暴露的人的转移是不可能的，或者疫苗的摄取不足时，转移方案仍然很有价值。此外，一组主要由年轻人人口组成的撤离者往往会早日出现大流行峰值，并且在实施转移方案时，多数老年人组的感染比多数老年人多。但是，当不执行转移方案时，多数老年人群体比大多数年轻成人群体高达20％。

在嘈杂和致密的荧光显微镜数据中跟踪胚胎的所有核是一项具有挑战性的任务。我们建立在最新的核跟踪方法的基础上，该方法结合了弱监督的学习，从一小部分核中心点注释与整数线性程序（ILP）结合了最佳的细胞谱系提取。我们的工作专门解决了秀丽隐杆线虫胚胎记录的以下具有挑战性的特性：（1）与其他生物的基准记录相比，许多细胞分裂以及（2）很容易被误认为是细胞核的极性体。为了应付（1），我们设计并纳入了学习的细胞分裂检测器。为了应付（2），我们采用了学到的极性身体探测器。我们进一步提出了通过结构化的SVM调整自动化的ILP权重，从而减轻了对各自的网格搜索进行乏味的手动设置的需求。我们的方法的表现优于Fluo-N3DH-CE胚胎数据集上细胞跟踪挑战的先前领导者。我们报告了另外两个秀丽隐杆线虫数据集的进一步广泛的定量评估。我们将公开这些数据集作为未来方法开发的扩展基准。我们的结果表明，我们的方法产生了可观的改进，尤其是在分区事件检测的正确性以及完全正确的轨道段的数量和长度方面。代码：https：//github.com/funkelab/linajea

本文介绍了基于2022年国际生物识别技术联合会议（IJCB 2022）举行的基于隐私感知合成训练数据（SYN-MAD）的面部变形攻击检测的摘要。该竞赛吸引了来自学术界和行业的12个参与团队，并在11个不同的国家 /地区举行。最后，参与团队提交了七个有效的意见书，并由组织者进行评估。竞争是为了介绍和吸引解决方案的解决方案，这些解决方案涉及检测面部变形攻击的同时，同时出于道德和法律原因保护人们的隐私。为了确保这一点，培训数据仅限于组织者提供的合成数据。提交的解决方案提出了创新，导致在许多实验环境中表现优于所考虑的基线。评估基准现在可在以下网址获得：https：//github.com/marcohuber/syn-mad-2022。

自然图像和医学图像之间的根本差异最近有利于对医学图像应用中的Imagenet转移学习使用自我监督学习（SSL）。图像类型之间的差异主要是由于成像方式和医学图像利用了广泛的基于物理的技术，而自然图像仅使用可见光捕获。尽管许多人证明了医学图像上的SSL导致了更好的下游任务绩效，但我们的工作表明可以获得更多的性能。在构建学习问题时，经常不考虑用于获取医学图像的科学原理。因此，我们建议在生成SSL期间合并定量成像原理，以提高图像质量和定量生物学准确性。我们表明，这种培训模式可为有限数据的下游监督培训提供更好的起始状态。我们的模型还生成了验证临床定量分析软件的图像。

Offline policy evaluation is a fundamental statistical problem in reinforcement learning that involves estimating the value function of some decision-making policy given data collected by a potentially different policy. In order to tackle problems with complex, high-dimensional observations, there has been significant interest from theoreticians and practitioners alike in understanding the possibility of function approximation in reinforcement learning. Despite significant study, a sharp characterization of when we might expect offline policy evaluation to be tractable, even in the simplest setting of linear function approximation, has so far remained elusive, with a surprising number of strong negative results recently appearing in the literature. In this work, we identify simple control-theoretic and linear-algebraic conditions that are necessary and sufficient for classical methods, in particular Fitted Q-iteration (FQI) and least squares temporal difference learning (LSTD), to succeed at offline policy evaluation. Using this characterization, we establish a precise hierarchy of regimes under which these estimators succeed. We prove that LSTD works under strictly weaker conditions than FQI. Furthermore, we establish that if a problem is not solvable via LSTD, then it cannot be solved by a broad class of linear estimators, even in the limit of infinite data. Taken together, our results provide a complete picture of the behavior of linear estimators for offline policy evaluation, unify previously disparate analyses of canonical algorithms, and provide significantly sharper notions of the underlying statistical complexity of offline policy evaluation.